Forward Propagation এবং Backward Propagation হল ডিপ লার্নিং মডেল প্রশিক্ষণের দুটি গুরুত্বপূর্ণ ধাপ। এই দুটি প্রক্রিয়া মডেলকে ডেটা থেকে প্যাটার্ন শিখতে সাহায্য করে এবং মডেলের প্যারামিটার আপডেট করার জন্য ব্যবহার করা হয়।
- Forward Propagation: এটি ইনপুট ডেটা থেকে আউটপুট প্রেডিকশন তৈরি করার প্রক্রিয়া।
- Backward Propagation: এটি লস (loss) ফাংশনের গ্র্যাডিয়েন্ট হিসাব করার এবং মডেলের প্যারামিটার আপডেট করার প্রক্রিয়া।
এখানে আমরা MXNet এর মাধ্যমে Forward এবং Backward Propagation এর মূল ধারণা এবং কাজের প্রক্রিয়া নিয়ে বিস্তারিত আলোচনা করব।
১. Forward Propagation
Forward Propagation হল সেই প্রক্রিয়া যেখানে ইনপুট ডেটা একটি নিউরাল নেটওয়ার্কের মাধ্যমে প্রবাহিত হয় এবং আউটপুট (prediction) তৈরি হয়। এই প্রক্রিয়ায়, মডেলটির প্রতিটি লেয়ার ইনপুট গ্রহণ করে এবং পরবর্তী লেয়ারে পাঠানোর জন্য তার উপর গণনা করে।
Forward Propagation এর প্রক্রিয়া:
- ইনপুট ডেটা (Input Data): ইনপুট ডেটা নিউরাল নেটওয়ার্কের প্রথম লেয়ারে পাঠানো হয়।
- নেটওয়ার্ক লেয়ারের গাণিতিক অপারেশন: প্রতিটি লেয়ারে ইনপুটের উপর গাণিতিক অপারেশন যেমন, কনভোলিউশন (যদি CNN হয়), বা গুণফল (যদি Fully Connected Network হয়) চালানো হয়।
- অ্যাক্টিভেশন ফাংশন (Activation Function): প্রতিটি লেয়ার শেষে, একটি অ্যাক্টিভেশন ফাংশন যেমন ReLU, Sigmoid, অথবা Tanh প্রয়োগ করা হয়। এটি লিনিয়ার আউটপুটকে নন-লিনিয়ার আউটপুটে রূপান্তরিত করে।
- আউটপুট (Output): সব লেয়ার পেরিয়ে শেষে মডেল একটি প্রেডিকশন বা আউটপুট তৈরি করে।
MXNet-এ Forward Propagation উদাহরণ:
import mxnet as mx
from mxnet.gluon import nn
# মডেল তৈরি
net = nn.Sequential()
net.add(nn.Dense(128, activation='relu')) # ফার্স্ট লেয়ার
net.add(nn.Dense(10)) # আউটপুট লেয়ার (10টি ক্লাস)
# ইনপুট ডেটা (উদাহরণস্বরূপ 1টি স্যাম্পল)
data = mx.nd.array([[1.0, 2.0, 3.0]])
# মডেল ইনিশিয়ালাইজ করা
net.initialize()
# Forward Propagation
output = net(data) # আউটপুট তৈরি
print(output)
এখানে net(data) হল Forward Propagation এর মূল অংশ, যা ইনপুট ডেটা (এখানে [1.0, 2.0, 3.0]) নিয়ে আউটপুট তৈরি করে।
২. Backward Propagation
Backward Propagation হল প্রশিক্ষণ প্রক্রিয়ার একটি গুরুত্বপূর্ণ ধাপ, যেখানে লস ফাংশন ব্যবহার করে মডেলের প্যারামিটার (যেমন, ওয়েটস এবং বায়াস) আপডেট করার জন্য গ্র্যাডিয়েন্ট (gradient) হিসাব করা হয়। এটি স্টোকাস্টিক গ্র্যাডিয়েন্ট ডিসেন্ট (SGD) বা অন্যান্য অপটিমাইজার (যেমন Adam) ব্যবহার করে মডেলের প্যারামিটার আপডেট করার প্রক্রিয়া।
Backward Propagation এর প্রক্রিয়া:
- লস ফাংশন (Loss Function): Forward Propagation এর মাধ্যমে প্রাপ্ত আউটপুট এবং প্রকৃত আউটপুটের (label) মধ্যে পার্থক্য পরিমাপ করতে লস ফাংশন ব্যবহার করা হয়। সাধারণত Softmax Cross-Entropy বা Mean Squared Error (MSE) ব্যবহার করা হয়।
- গ্র্যাডিয়েন্ট ক্যালকুলেশন (Gradient Calculation): লস ফাংশন ব্যবহার করে আউটপুট এবং প্রকৃত আউটপুটের মধ্যে পার্থক্য (error) ক্যালকুলেট করা হয় এবং তারপর ব্যাকওয়ার্ড পাসের মাধ্যমে এই error এর গ্র্যাডিয়েন্ট হিসাব করা হয়।
- প্যারামিটার আপডেট (Parameter Update): গ্র্যাডিয়েন্টের মাধ্যমে মডেলের প্যারামিটারগুলি আপডেট করা হয়, যাতে মডেলটি সঠিক আউটপুটের দিকে অগ্রসর হয়। সাধারণত gradient descent বা এর ভ্যারিয়েন্টগুলি ব্যবহার করা হয়।
MXNet-এ Backward Propagation উদাহরণ:
from mxnet.gluon import loss as gloss
from mxnet.gluon import Trainer
# লস ফাংশন
loss_fn = gloss.SoftmaxCrossEntropyLoss()
# অপটিমাইজার
optimizer = Trainer(net.collect_params(), 'adam', {'learning_rate': 0.001})
# ইনপুট এবং লেবেল ডেটা
input_data = mx.nd.array([[1.0, 2.0, 3.0]])
labels = mx.nd.array([1])
# ফরওয়ার্ড পাস
with mx.autograd.record(): # গ্র্যাডিয়েন্ট রেকর্ড করতে
output = net(input_data) # আউটপুট
loss = loss_fn(output, labels) # লস ক্যালকুলেশন
# ব্যাকওয়ার্ড পাস (গ্র্যাডিয়েন্ট ক্যালকুলেশন)
loss.backward() # ব্যাকওয়ার্ড পাসের মাধ্যমে গ্র্যাডিয়েন্ট বের করা
# অপটিমাইজার দিয়ে প্যারামিটার আপডেট করা
optimizer.step(input_data.shape[0]) # অপটিমাইজার স্টেপ
এখানে, loss.backward() হল Backward Propagation এর মূল অংশ, যেখানে গ্র্যাডিয়েন্ট কম্পিউট করা হয় এবং optimizer.step() এর মাধ্যমে প্যারামিটার আপডেট করা হয়।
৩. গ্র্যাডিয়েন্ট ডেসেন্ট এবং অপটিমাইজার
গ্র্যাডিয়েন্ট ডেসেন্ট হল এক ধরনের অপটিমাইজেশন অ্যালগরিদম যা মডেলের প্যারামিটার আপডেট করার জন্য গ্র্যাডিয়েন্ট ব্যবহার করে। SGD (Stochastic Gradient Descent) বা Adam অপটিমাইজার সাধারণত ব্যাকওয়ার্ড পাসের পর প্যারামিটার আপডেট করতে ব্যবহৃত হয়।
- SGD: এটি সঠিক প্যারামিটার খুঁজে বের করার জন্য ছোট ছোট স্টেপে কাজ করে। এটি কেবল এক ব্যাচে গণনা করা হয়।
- Adam: এটি SGD এর একটি উন্নত সংস্করণ, যা ব্যাকওয়ার্ড পাসের সময় অ্যাডাপটিভ লার্নিং রেট ব্যবহার করে এবং মডেলের গতিশীলতা উন্নত করে।
optimizer = Trainer(net.collect_params(), 'adam', {'learning_rate': 0.001})
৪. সারাংশ
- Forward Propagation: এটি ইনপুট ডেটা থেকে আউটপুট প্রেডিকশন তৈরি করার প্রক্রিয়া, যেখানে মডেলের প্রতিটি লেয়ার গাণিতিক অপারেশন এবং অ্যাক্টিভেশন ফাংশন ব্যবহার করে আউটপুট তৈরি করে।
- Backward Propagation: এটি লস ফাংশন ব্যবহার করে মডেলের প্যারামিটার আপডেট করার জন্য গ্র্যাডিয়েন্ট কম্পিউট করার প্রক্রিয়া। এটি লসের গ্র্যাডিয়েন্ট বের করে এবং অপটিমাইজার দ্বারা মডেলের প্যারামিটার আপডেট করে।
এই দুটি প্রক্রিয়া একসঙ্গে কাজ করে এবং মডেল প্রশিক্ষণের সময় ডেটার প্যাটার্ন শিখতে সহায়তা করে, যাতে মডেল ভবিষ্যত আউটপুট সঠিকভাবে পূর্বাভাস দিতে পারে। MXNet এর মাধ্যমে আপনি সহজে এই দুটি প্রক্রিয়া সম্পন্ন করতে পারবেন।
Read more
